Karl IV sinh ra ở Praha[3], là con của vua Bohemia Johann von Böhmen thuộc nhà Luxemburg và hoàng hậu Elizabeth của Bohemia thuộc nhà Premyslid. Ông ban đầu được đặt tên là Wenzel (Václav), tên của ông ngoại, vua Wenzel II của Bohemia. Ông đã chọn tên Karl trong lúc làm lễ bí tích Thêm Sức để tỏ lòng kính trọng người chú của mình, vua Charles IV của Pháp, mà đã cho ông cư trú 7 năm trong cung điện của ông ta.

Ông đã được giáo dục bằng tiếng Pháp và nói thông thạo năm thứ tiếng: tiếng Latinh, Séc,[4] Đức, Pháp và Ý. Trong năm 1331 ông đã đạt được một số kinh nghiệm chiến tranh ở Ý với cha mình. Vào đầu năm 1333, Karl đi đến Lucca, (Toscana) để củng cố quyền lực của mình ở đó. Trong một nỗ lực để bảo vệ thành phố, Karl lập pháo đài gần đó và thị trấn Montecarlo (Núi Karl).[5] Từ năm 1333, ông quản lý các vùng đất của vương quốc Bohemia do sự vắng mặt thường xuyên và suy giảm thị lực của cha ông. Trong năm 1334, Charles được phong làm bá tước Mähren, danh hiệu truyền thống cho những người thừa kế ngai vàng. Hai năm sau đó, ông đảm đương chính phủ của Tirol thay mặt cho anh trai của mình, Johann Heinrich, và sớm tích cực tham gia vào một cuộc đấu tranh cho quyền sở hữu của lãnh thổ này.